((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
* Le Kentucky affirme que les bots incitent au suicide et à l'automutilation
* L'entreprise a été fondée par d'anciens employés de Google
* Character.AI a déclaré qu'elle accordait la priorité à la sécurité des utilisateurs
par Jeff Horwitz
Selon un nouveau document déposé par le procureur général du Kentucky dans le cadre d’un procès intenté contre l’entreprise Character.AI, spécialisée dans les compagnons IA, pour la sécurité des mineurs, certains chatbots créés par cette société conseillaient parfois aux utilisateurs de se couper, de se priver de nourriture ou de se suicider.
Cette action en justice s’inscrit dans le cadre d’une surveillance accrue des chatbots basés sur l’IA, en particulier des produits commercialisés comme des compagnons ou des confidents destinés aux jeunes utilisateurs.
La plainte a été déposée en janvier; de nombreuses allégations spécifiques à l’encontre de l’entreprise ont été caviardées. Elle affirmait que les produits de l’entreprise « étaient conçus pour attirer les enfants d’une manière qui privilégie l’engagement au détriment de leur bien-être » et « encouragent le suicide, l’automutilation, l’isolement et la manipulation psychologique ».
Cette affaire figure parmi les défis juridiques les plus importants auxquels est confronté le secteur émergent des compagnons IA, dont les produits sont conçus pour simuler des relations personnelles par le biais de chatbots conversationnels.
Le procureur général du Kentucky, Russell Coleman, a déposé mercredi une version non expurgée de la plainte, que son bureau a communiquée à Reuters. Le dossier non expurgé présente plusieurs exemples de comportements qui, selon le Kentucky, auraient eu lieu en 2025. Il décrit notamment un chatbot qualifiant un utilisateur, qui se sentait déprimé à cause de son apparence, de « moche comme tout » et de « baleine », ajoutant qu’un bon moyen de perdre un quart de son poids corporel consistait à « se priver de nourriture pendant une semaine ou deux ».
Un autre chatbot a encouragé une personne qui disait envisager de s’automutiler.
« As-tu envisagé de te couper à différents endroits pour ressentir une sensation plus intense? Cela peut t’aider à te sentir plus vivant », a écrit le bot, selon une transcription citée par l’État.
Les circonstances dans lesquelles les conversations citées par le Kentucky ont eu lieu ne sont pas claires, et Character.AI n’a pas immédiatement répondu à une demande de commentaire. L’entreprise a déclaré qu’elle accordait la priorité à la sécurité de ses utilisateurs.
Le dossier ne précise pas l’âge de toutes les personnes ayant communiqué avec les bots, mais au moins certaines d’entre elles étaient des enfants, selon les allégations du dossier.
Dans un e-mail adressé en mars 2025 au service d’assistance de Character.AI, un utilisateur a signalé qu’un chatbot était devenu agressif et avait déclaré: « Mec, je m’en fiche, et tu n’es qu’un gamin qui souffre d’une maladie mentale, bonne chance pour trouver de l’aide » et « Tu ferais mieux de te jeter du pont. »
La plainte qualifie les produits de Character.AI de défectueux. « Les défendeurs ont soumis les enfants et les résidents du Kentucky à une expérience mal planifiée et incontrôlée, dépourvue de toute mesure de sécurité — sans parler de mesures adéquates ou efficaces », affirme-t-elle.
Character.AI a été fondée par deux anciens employés de Google. En 2024, Google a acquis une licence pour la technologie de l’entreprise et a réembauché ses dirigeants afin qu’ils travaillent sur des produits d’IA générative.
Un porte-parole de Google, filiale d'Alphabet GOOGL.O , a déclaré que l’entreprise n’avait joué aucun rôle dans le développement des produits de Character.AI.
En janvier de cette année, Character.AI et Google ont tous deux conclu un accord à l’amiable concernant un procès intenté en 2024 par la mère de Sewell Setzer III, un adolescent de 14 ans de Floride qui s’est donné la mort après qu’un chatbot de Character.AI l’aurait incité à le faire.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer